মডেল মূল্যায়ন মেট্রিক্স (Model Evaluation Metrics) মেশিন লার্নিং মডেলের কার্যকারিতা পরিমাপ করতে ব্যবহৃত হয়। এই মেট্রিক্সগুলি মডেলটির সঠিকতা, ভুল সিদ্ধান্তের ধরন এবং তার প্রতিক্রিয়াগুলি বিশ্লেষণ করতে সহায়ক। সাধারণত Accuracy, Precision, Recall, এবং F1 Score এর মতো মেট্রিক্সগুলি ব্যবহৃত হয়।
এগুলোর প্রতিটি মেট্রিক্সের ভূমিকা আলাদা, এবং তাদের মধ্যে পার্থক্য বোঝা গুরুত্বপূর্ণ। নীচে এই মেট্রিক্সগুলির বিস্তারিত বর্ণনা দেওয়া হল:
১. Accuracy (সঠিকতা)
Accuracy হল মডেল দ্বারা সঠিকভাবে শ্রেণীবদ্ধ (classify) করা মোট উদাহরণের শতাংশ। এটি সবচেয়ে সাধারণ মেট্রিক্স যা মোট সঠিক সিদ্ধান্তের অনুপাত দেয়। তবে, এটি কোন সময় অপর্যাপ্ত হতে পারে যখন ডেটা সন্নিবেশিত বা অসমতল (imbalanced) হয়।
ফর্মুলা:
উদাহরণ:
ধরা যাক, মডেলটি 100টি ইনস্ট্যান্সের মধ্যে 90টি সঠিকভাবে শ্রেণীবদ্ধ করেছে। তাহলে, Accuracy হবে:
সীমাবদ্ধতা:
যখন ডেটা সন্নিবেশিত থাকে (যেমন, 95% নেগেটিভ এবং 5% পজিটিভ ক্লাস), তখন Accuracy ভালো দেখাতে পারে কিন্তু মডেল আসলে খারাপ কাজ করছে।
২. Precision (বিশুদ্ধতা)
Precision হল মডেলের যে সমস্ত পজিটিভ ক্লাস চিহ্নিত করেছে, সেগুলির মধ্যে কতটি সঠিক ছিল। এটি মডেলের মধ্যে false positives (ভুল পজিটিভ) কম করার জন্য গুরুত্বপূর্ণ।
ফর্মুলা:
উদাহরণ:
যদি মডেল 100টি পজিটিভ প্রেডিকশন করে এবং তার মধ্যে 80টি সঠিক থাকে, তাহলে Precision হবে:
সীমাবদ্ধতা:
Precision শুধুমাত্র পজিটিভ প্রেডিকশনের মধ্যে সঠিকতার হার পরিমাপ করে, তবে এটি নেগেটিভ ক্লাসগুলির কোন ধারণা দেয় না।
৩. Recall (সংবেদনশীলতা)
Recall হল সঠিকভাবে সনাক্ত করা পজিটিভ ইনস্ট্যান্সগুলির শতাংশ। এটি মডেলটির false negatives (ভুল নেগেটিভ) কম করার জন্য গুরুত্বপূর্ণ। যেহেতু এটি পজিটিভ ক্লাসকে বেশি গুরুত্বপূর্ণভাবে গণ্য করে, সেহেতু এটি বিশেষ করে গুরুত্বপূর্ণ যখন মডেলটি কোন পজিটিভ ঘটনার মিস করা ঠিক নয়।
ফর্মুলা:
উদাহরণ:
যদি 100টি পজিটিভ ইনস্ট্যান্সের মধ্যে মডেল 80টি সঠিকভাবে শনাক্ত করে, তাহলে Recall হবে:
সীমাবদ্ধতা:
High Recall মানে মডেল অনেক পজিটিভ সনাক্ত করছে, তবে এটি Precision কমিয়ে ফেলতে পারে (অনেক ভুল পজিটিভ তৈরি করতে পারে)।
৪. F1 Score
F1 Score হল Precision এবং Recall এর একটি ভারসাম্য। এটি Precision এবং Recall এর গড় হিসাব করে এবং দুইটির মধ্যে একটি ভাল ভারসাম্য তৈরি করতে সাহায্য করে। যখন Precision এবং Recall এর মধ্যে একটি বড় পার্থক্য থাকে, তখন Accuracy যথেষ্ট সহায়ক নয়, আর F1 Score একটি সমন্বিত মেট্রিক্স হিসেবে কাজ করে।
ফর্মুলা:
উদাহরণ:
ধরা যাক, একটি মডেল এর Precision 0.8 এবং Recall 0.6। তাহলে F1 Score হবে:
সীমাবদ্ধতা:
F1 Score যত বেশি হবে, মডেলটি তত ভালো। তবে এটি কোন সময় Precision এবং Recall এর মধ্যে ভারসাম্যহীনতার কারণে কিছু তথ্য হারিয়ে ফেলতে পারে।
সারাংশ
- Accuracy: মোট সঠিক সিদ্ধান্তের অনুপাত।
- Precision: পজিটিভ প্রেডিকশনগুলির মধ্যে সঠিক প্রেডিকশনের অনুপাত।
- Recall: সঠিক পজিটিভ ইনস্ট্যান্সগুলির মধ্যে মডেল কতটা সঠিকভাবে সনাক্ত করেছে।
- F1 Score: Precision এবং Recall এর মধ্যে ভারসাম্য সৃষ্টি করে, যাতে দুইটি মেট্রিক্সের ভাল সমন্বয় পাওয়া যায়।
এই মেট্রিক্সগুলি একে অপরের পরিপূরক এবং সঠিকভাবে কাজ করার জন্য এগুলির উপযুক্ত ব্যবহার গুরুত্বপূর্ণ।
Read more